Koval sinh ra trong gia đình những người nhập cư Do Thái ở Sioux City, Iowa, Hoa Kỳ. Cha của ông vốn là một thợ mộc nghèo lại yêu cô con gái của một thủ lĩnh Do Thái giáo tại Belarus. Năm 1910, cha ông quyết định sang Hoa Kỳ tìm kiếm cơ hội. Họ có với nhau 3 đứa con, George Koval là con thứ hai.

Khi cuộc đại khủng hoảng nổ ra, gia đình Koval quyết định lên một chiếc tàu của Liên Xô, rời khỏi Hoa Kỳ về định cư tại Birobidzhan. Với học lực xuất sắc của mình, Koval đã được nhận vào Đại học Công nghệ Hoá học Moskva Mendeleev tại Moskva vào năm 1934. Ông lập gia đình và có được một cô con gái.[1]